学习在线推荐模型的关键挑战之一是时间域移动，这会导致培训与测试数据分布之间的不匹配以及域的概括错误。为了克服，我们建议学习一个未来的梯度生成器，该生成器可以预测培训未来数据分配的梯度信息，以便可以对建议模型进行培训，就像我们能够展望其部署的未来一样。与批处理更新相比，我们的理论表明，所提出的算法达到了较小的时间域概括误差，该误差通过梯度变异项在局部遗憾中衡量。我们通过与各种代表性基线进行比较来证明经验优势。

在本文中，我们研究了一类二聚体优化问题，也称为简单的双重优化，在其中，我们将光滑的目标函数最小化，而不是另一个凸的约束优化问题的最佳解决方案集。已经开发了几种解决此类问题的迭代方法。 las，它们的收敛保证并不令人满意，因为它们要么渐近，要么渐近，要么是收敛速度缓慢且最佳的。为了解决这个问题，在本文中，我们介绍了Frank-Wolfe（FW）方法的概括，以解决考虑的问题。我们方法的主要思想是通过切割平面在局部近似低级问题的解决方案集，然后运行FW型更新以减少上层目标。当上层目标是凸面时，我们表明我们的方法需要$ {\ mathcal {o}}（\ max \ {1/\ epsilon_f，1/\ epsilon_g \}）$迭代才能找到$ \ \ \ \ \ \ epsilon_f $ - 最佳目标目标和$ \ epsilon_g $ - 最佳目标目标。此外，当高级目标是非convex时，我们的方法需要$ {\ MATHCAL {o}}（\ max \ {1/\ epsilon_f^2,1/（\ epsilon_f \ epsilon_g}）查找$（\ epsilon_f，\ epsilon_g）$ - 最佳解决方案。我们进一步证明了在“较低级别问题的老年人错误约束假设”下的更强的融合保证。据我们所知，我们的方法实现了所考虑的二聚体问题的最著名的迭代复杂性。我们还向数值实验提出了数值实验。与最先进的方法相比，展示了我们方法的出色性能。

我们研究了Adagrad-norm的收敛速率，作为自适应随机梯度方法（SGD）的典范，其中，基于观察到的随机梯度的步骤大小变化，以最大程度地减少非凸，平稳的目标。尽管它们很受欢迎，但在这种情况下，对自适应SGD的分析滞后于非自适应方法。具体而言，所有先前的作品都依赖以下假设的某个子集：（i）统一结合的梯度规范，（ii）均匀遇到的随机梯度方差（甚至噪声支持），（iii）步骤大小和随机性之间的有条件独立性坡度。在这项工作中，我们表明Adagrad-norm表现出$ \ Mathcal {O} \ left（\ frac {\ mathrm {poly} \ log（t）} {\ sqrt {\ sqrt {t}}} \ right）的订单最佳收敛率$在$ t $迭代之后，在与最佳调整的非自适应SGD（无界梯度规范和仿射噪声方差缩放）相同的假设下进行了$，而无需任何调整参数。因此，我们确定自适应梯度方法在比以前了解的更广泛的方案中表现出最佳的融合。

在机器学习，游戏理论和控制理论中解决各种应用，极限优化已经是中心。因此，目前的文献主要集中于研究连续结构域中的这些问题，例如，凸凹minalax优化现在在很大程度上被理解。然而，最小的问题远远超出连续域以混合连续离散域或甚至完全离散域。在本文中，我们研究了混合连续离散的最小问题，其中最小化在属于欧几里德空间的连续变量上，最大化是在给定地面集的子集上。我们介绍了凸子蒙皮最小新的类问题，其中物镜相对于连续变量和子模块相对于离散变量凸出。尽管这些问题在机器学习应用中经常出现，但对于如何从算法和理论观点来解决它们的知之甚少。对于此类问题，我们首先表明获得鞍点难以达到任何近似，因此引入了（近）最优性的新概念。然后，我们提供了若干算法程序，用于解决凸且单调 - 子模块硬币问题，并根据我们最佳的概念来表征其收敛率，计算复杂性和最终解决方案的质量。我们所提出的算法迭代并组合离散和连续优化的工具。最后，我们提供了数字实验，以展示我们所用方法的有效性。

在本文中，我们研究了模型 - 不可知的元学习（MAML）算法的泛化特性，用于监督学习问题。我们专注于我们培训MAML模型超过$ M $任务的设置，每个都有$ n $数据点，并从两个视角表征其泛化错误：首先，我们假设测试时间的新任务是其中之一培训任务，我们表明，对于强烈凸的客观函数，预期的多余人口损失是由$ {\ mathcal {o}}（1 / mn）$的界限。其次，我们考虑MAML算法的概念任务的泛化，并表明产生的泛化误差取决于新任务的底层分布与培训过程中观察到的任务之间的总变化距离。我们的校对技术依赖于算法稳定性与算法的泛化界之间的连接。特别是，我们为元学习算法提出了一种新的稳定性定义，这使我们能够捕获每项任务的任务数量的任务数量的角色$ N $对MAML的泛化误差。

模型不足的元学习（MAML）已越来越流行，对于可以通过一个或几个随机梯度下降步骤迅速适应新任务的训练模型。但是，与标准的非自适应学习（NAL）相比，MAML目标更难优化，并且几乎没有理解MAML在各种情况下的溶液的快速适应性方面的改善。我们通过线性回归设置进行分析解决此问题，该设置由简单而艰难的任务组成，其中硬度与梯度下降在任务上收敛的速率有关。具体而言，我们证明，为了使MAML比NAL获得可观的收益，（i）任务之间的硬度必须有一定的差异，并且（ii）艰苦任务的最佳解决方案必须与中心远离远离中心。简单任务最佳解决方案的中心。我们还提供数值和分析结果，表明这些见解适用于两层神经网络。最后，我们提供了很少的图像分类实验，可以支持我们何时使用MAML的见解，并强调培训MAML对实践中的艰巨任务的重要性。

在本文中，我们研究并证明了拟牛顿算法的Broyden阶级的非渐近超线性收敛速率，包括Davidon - Fletcher - Powell（DFP）方法和泡沫 - 弗莱彻 - 夏诺（BFGS）方法。这些准牛顿方法的渐近超线性收敛率在文献中已经广泛研究，但它们明确的有限时间局部会聚率未得到充分调查。在本文中，我们为Broyden Quasi-Newton算法提供了有限时间（非渐近的）收敛分析，在目标函数强烈凸起的假设下，其梯度是Lipschitz连续的，并且其Hessian在最佳解决方案中连续连续。我们表明，在最佳解决方案的本地附近，DFP和BFGS生成的迭代以$（1 / k）^ {k / 2} $的超连线率收敛到最佳解决方案，其中$ k $是迭代次数。我们还证明了类似的本地超连线收敛结果，因为目标函数是自我协调的情况。几个数据集的数值实验证实了我们显式的收敛速度界限。我们的理论保证是第一个为准牛顿方法提供非渐近超线性收敛速率的效果之一。

我们考虑用于加强学习（RL）问题的模型 - 不可知的元学习（MAML）方法，其中目标是找到使用来自Markov决策过程（MDP）表示的多个任务的策略，该方法可以由随机的一步更新实现MDP的政策梯度。特别地，在MAML更新步骤中使用随机梯度对于RL问题至关重要，因为精确梯度的计算需要访问大量可能的轨迹。对于这种制剂，我们提出了一种名为随机梯度元增强学习（SG-MRL）的MAML方法的变型，并研究其收敛性。我们派生了SG-MRL的迭代和样本复杂性，以查找$ \ epsilon $ - 据我们所知，这为模型不可知的元增强学习算法提供了第一个收敛保证。我们进一步展示了我们的结果延伸到在测试时间使用多于一个随机政策梯度方法的情况的情况。最后，我们在几个深入的RL环境中凭证比较SG-MRL和MAML。

Federated learning is a distributed framework according to which a model is trained over a set of devices, while keeping data localized. This framework faces several systemsoriented challenges which include (i) communication bottleneck since a large number of devices upload their local updates to a parameter server, and (ii) scalability as the federated network consists of millions of devices. Due to these systems challenges as well as issues related to statistical heterogeneity of data and privacy concerns, designing a provably efficient federated learning method is of significant importance yet it remains challenging. In this paper, we present FedPAQ, a communication-efficient Federated Learning method with Periodic Averaging and Quantization. FedPAQ relies on three key features: (1) periodic averaging where models are updated locally at devices and only periodically averaged at the server; (2) partial device participation where only a fraction of devices participate in each round of the training; and (3) quantized messagepassing where the edge nodes quantize their updates before uploading to the parameter server. These features address the communications and scalability challenges in federated learning. We also show that FedPAQ achieves near-optimal theoretical guarantees for strongly convex and non-convex loss functions and empirically demonstrate the communication-computation tradeoff provided by our method.

Persuasion modeling is a key building block for conversational agents. Existing works in this direction are limited to analyzing textual dialogue corpus. We argue that visual signals also play an important role in understanding human persuasive behaviors. In this paper, we introduce the first multimodal dataset for modeling persuasion behaviors. Our dataset includes 199 dialogue transcriptions and videos captured in a multi-player social deduction game setting, 26,647 utterance level annotations of persuasion strategy, and game level annotations of deduction game outcomes. We provide extensive experiments to show how dialogue context and visual signals benefit persuasion strategy prediction. We also explore the generalization ability of language models for persuasion modeling and the role of persuasion strategies in predicting social deduction game outcomes. Our dataset, code, and models can be found at https://persuasion-deductiongame.socialai-data.org.